spark管理及优化

spark管理及优化
00:00 / 00:00
分享给朋友:
课程目录
  • 课程概述
  • 目录
  • 资料区

spark优化主要内容如下:

(代码及文档下载请于《SPARK课程讲解》处下载)

spark做为发展比较快的大数据软件,本课程从最基本的资源优化一直到数据倾斜等进行分析

1、性能优化之资源优化

2、性能优化之参数设置

3、性能优化之shuffle理解

4、性能优化之shuffle

5、性能优化-广播变量

6、性能优化-spark-shuffle

7、性能优化-hasshuffle

8、性能优化-sort shuffle

9、性能优化-持久化

10、spark重要概念

11、spark重要组件

12、spark运行机制

13、性能优化-reducebykey与groupbykey的区别

14、数据倾斜方案一过滤少数导致倾斜的key

15、数据倾斜方案二提高shuffle操作的并行度

16、性能优化-局部聚合全局聚合

17、性能调优-采样倾斜key并分拆join操作1

18、性能调优-采样倾斜key并分拆join操作2

19、使用随机前缀和扩容RDD进行join

20、性能调优-算子调优之filter过后使用coalesce减少分区数量

21、性能调优-算子调优之使用foreachPartition优化写数据库性能 

b1.jpgspark优化

第1章  spark管理及优化

第1节 性能优化之资源优化 23.21    会员
第2节 性能优化之参数设置 22.34    会员
第3节 性能优化之shuffle理解 28.53    会员
第4节 性能优化之shuffle 19.40    会员
第5节 性能优化-广播变量 19.36    会员
第6节 性能优化-spark-shuffle 11.46    会员
第7节 性能优化-hasshuffle 11.05    会员
第8节 性能优化-sort shuffle 11.13    会员
第9节 性能优化-持久化 27.46    会员
第10节 spark重要概念 18.18    会员
第11节 spark重要组件 14.12    会员
第12节 spark运行机制 12.09    会员
第13节 性能优化-reducebykey与groupbykey的区别 4.58    会员
第14节 数据倾斜方案一过滤少数导致倾斜的key    会员
第15节 数据倾斜方案二提高shuffle操作的并行度 16.28    会员
第16节 性能优化-局部聚合全局聚合 10    会员
第17节 性能调优-采样倾斜key并分拆join操作1 15.00    会员
第18节 性能调优-采样倾斜key并分拆join操作2 16    会员
第19节 使用随机前缀和扩容RDD进行join 10    会员
第20节 性能调优-算子调优之filter过后使用coalesce减少分区数量 11.00    会员
第21节 性能调优-算子调优之使用foreachPartition优化写数据库性能 10.00    会员

推荐课程